<!DOCTYPE HTML>
<html>

<head>
	<link rel="bookmark"  type="image/x-icon"  href="/img/logo.jpg"/>
	<link rel="shortcut icon" href="/img/logo.jpg">
	
			    <title>
    北望你的安
    </title>
    <meta charset="utf-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no" />
    <link rel="stylesheet" href="/css/mic_main.css" />
    <link rel="stylesheet" href="/css/dropdownMenu.css" />
    <meta name="keywords" content="北望你的安" />
    
    	<script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
	 
    <noscript>
        <link rel="stylesheet" href="/css/noscript.css" />
    </noscript>
    <style type="text/css">
        body:before {
          content: ' ';
          position: fixed;
          top: 0;
          background: url('/img/bg.jpg') center 0 no-repeat;
          right: 0;
          bottom: 0;
          left: 0;
          background-size: cover; 
        }
    </style>

			    
  


    <script src="/js/jquery.min.js"></script>
    <script src="/js/jquery.scrollex.min.js"></script>
    <script src="/js/jquery.scrolly.min.js"></script>
    <script src="/js/skel.min.js"></script>
    <script src="/js/util.js"></script>
    <script src="/js/main.js"></script>
	
</head>
    
		
<!-- Layouts -->



<!--  代码渲染  -->
<link rel="stylesheet" href="/css/prism_coy.css" />
<link rel="stylesheet" href="/css/typo.css" />
<!-- 文章页 -->
<body class="is-loading">
    <!-- Wrapper 外包 s-->
    <div id="wrapper" class="fade-in">
        <!-- Intro 头部显示 s -->
        <!-- Intro 头部显示 e -->
        <!-- Header 头部logo start -->
        <header id="header">
    <a href="/" class="logo">Krystalan</a>
</header>
        <!-- Nav 导航条 start -->
        <nav id="nav" class="special" >
            <ul class="menu links" >
			<!-- Homepage  主页  --> 
			<li >
	            <a href="/" rel="nofollow">主页</a>
	        </li>
			<!-- categories_name  分类   --> 
	        
	        <li class="active">
	            <a href="#s1">分类</a>
	                    <ul class="submenu">
	                        <li>
	                        <a class="category-link" href="/categories/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0/">强化学习</a></li><li><a class="category-link" href="/categories/%E6%95%B0%E5%AD%A6/">数学</a></li><li><a class="category-link" href="/categories/%E7%AE%97%E6%B3%95/">算法</a></li><li><a class="category-link" href="/categories/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/">自然语言处理</a></li><li><a class="category-link" href="/categories/%E9%9A%8F%E7%AC%94/">随笔</a>
	                    </ul>
	        </li>
	        
	        <!-- archives  归档   --> 
	        
	        
		        <!-- Pages 自定义   -->
		        
		        <li>
		            <a href="/tags/" title="标签">
		                标签
		            </a>
		        </li>
		        
		        <li>
		            <a href="/gallery/" title="相册">
		                相册
		            </a>
		        </li>
		        


            </ul>
            <!-- icons 图标   -->
			<ul class="icons">
                    
                    <li>
                        <a title="github" href="https://github.com/krystalan" target="_blank" rel="noopener">
                            <i class="icon fa fa-github"></i>
                        </a>
                    </li>
                    
                    <li>
                        <a title="500px" href="https://www.zhihu.com/people/krystalzhu-an" target="_blank" rel="noopener">
                            <i class="icon fa fa-500px"></i>
                        </a>
                    </li>
                    
			</ul>
</nav>

        <div id="main" >
            <div class ="post_page_title_img" style="height: 25rem;background-image: url(/img/20.jpg);background-position: center; background-repeat:no-repeat; background-size:cover;-moz-background-size:cover;overflow:hidden;" >
                <a href="#" style="padding: 4rem 4rem 2rem 4rem ;"><h2 >关系抽取</h2></a>
            </div>
            <!-- Post -->
            <div class="typo" style="padding: 3rem;">
                <blockquote>
<p>完整的关系抽取系统包括NER（识别文本当中的实体）、实体链接器（将识别出的实体链接到已有的KG当中）以及关系分类器（决定给定文本当中实体间的关系）。即：<br>关系抽取系统 = 命名实体识别 + 实体链接 + 关系分类器<br>关系抽取系统 = 实体链指 + 关系分类器<br>其中<strong>识别关系是最重要也是最困难的</strong></p>
</blockquote>
<p>关系抽取例子：<br><img src="/images/RE/1.jpg" alt="example"><br>如图，给定了两个实体和一句提及实体的文本，利用RE模型去在给定的关系集合中做分类（如果不在关系集合则设定为N/A），最终选择概率最高的关系作为结果。</p>
<p>参考资料：</p>
<blockquote>
<p>2020关系抽取综述：<a href="https://arxiv.org/abs/2004.03186" target="_blank" rel="noopener">https://arxiv.org/abs/2004.03186</a><br><u><a href="https://book.douban.com/subject/34930415/" target="_blank" rel="noopener">《知识图谱概念与技术》</a></u>第四章<br><u><a href="https://zhuanlan.zhihu.com/p/91762831" target="_blank" rel="noopener">《知识图谱从哪里来：实体关系抽取的现状与未来》</a></u></p>
</blockquote>
<h1 id="1-基于模式的关系抽取"><a href="#1-基于模式的关系抽取" class="headerlink" title="1.基于模式的关系抽取"></a>1.基于模式的关系抽取</h1><p>使用语法分析工具去识别文本当中的语义信息并从这些元素当中自动构建模式规则。为了能够有更好的覆盖率和准确率，后续工作包含了更大规模的数据集以及更多模式格式和更加高效的关系抽取方式。</p>
<p>一个自动构建的模式可能有很多错误，大部分上述方法需要人类专家的检验，这便成为了基于模式的RE模型的局限性。</p>
<h1 id="2-基于统计的关系抽取（SRE）"><a href="#2-基于统计的关系抽取（SRE）" class="headerlink" title="2.基于统计的关系抽取（SRE）"></a>2.基于统计的关系抽取（SRE）</h1><blockquote>
<p>对比与上述基于模式的方法，基于统计的模型有着更好的覆盖率与更少的人工干预。  </p>
</blockquote>
<p>（1）一类非常经典的SRE是基于特征的模型，它为实体对和文本信息设计词法、句法和语义特征。之后将这些特征喂给关系分类器即可。因为SVM的广泛应用，先前的许多工作都探索了基于核的分类方法（为SVM设计核函数来测量关系表示和文本实例之间的相似度）。<br>（2）还有一些工作探索了如何抽取和推断文本当中潜在的信息，例如图形模型（Graphical methods）以有向无环图的形式对实体、文本和关系之间的依赖进行建模，然后利用推理模型识别正确的关系。<br>（3）随着embedding模型在NLP中不断发展，还有一些模型将文本通过embedding模型转化到低维语义空间，并通过实体embedding来抽取关系，更甚者，利用了KGE来做RE。</p>
<p>即使SRE被广泛研究，但仍存在一些问题，（1）当中特征工程繁琐，（2）（3）依然在模型能力上受限。</p>
<h1 id="3-基于神经网络的关系抽取（NRE）"><a href="#3-基于神经网络的关系抽取（NRE）" class="headerlink" title="3.基于神经网络的关系抽取（NRE）"></a>3.基于神经网络的关系抽取（NRE）</h1><blockquote>
<p>NRE模型是利用深度学习去自动从文本当中抽取语义特征，对比与SRE，NRE可以更高效地捕获文本信息并推广到更广泛的数据范围。<br>paperlist：<a href="https://github.com/thunlp/NREPapers" target="_blank" rel="noopener">https://github.com/thunlp/NREPapers</a></p>
</blockquote>
<p>研究NRE的主要工作集中在设计与利用各种网络结构去捕获文本当中的关系语义，例如RNN、CNN、GNN以及基于注意力机制的神经网络。NRE利用word embedding和position embedding来替代SRE中繁琐的特征工程。除了word embedding和position embedding之外还有其他的工作将句法信息融入NRE模型当中。例如在最短依赖路径上分别采取CNNs和RNNs提取句法特征，近些年还有工作利用Transformer和预训练语言模型去探索NRE，这些模型不断达到SOTA</p>
<h1 id="4-探索RE的更多方向"><a href="#4-探索RE的更多方向" class="headerlink" title="4.探索RE的更多方向"></a>4.探索RE的更多方向</h1><blockquote>
<p>尽管上述提及到的NRE模型在benchmark上已经达到了很高的分数，但我们仍然没有充分解决RE，大部分的模型都是利用了充分的人工标注数据训练出RE模型，并且这种模型也只能针对一句话在预先定义好的关系集合中去预测一种关系。而真实世界中的关系抽取与之相差甚远。</p>
</blockquote>
<h2 id="4-1-更大规模的训练数据"><a href="#4-1-更大规模的训练数据" class="headerlink" title="4.1 更大规模的训练数据"></a>4.1 更大规模的训练数据</h2><p>有监督NRE模型缺乏大规模高质量的训练数据，因为数据的标注成本很高。为了缓解这个问题从而提出了远程监督（DS），远程监督假设两个实体之间的关系保持不变，并对文本进行自动标注。  </p>
<blockquote>
<p>例如&lt;柏拉图，出生地，雅典&gt;这个三元组，我们通过查找包含该三元组头尾实体的文本可以得到如下句子集合：<br>句子1：<strong>柏拉图</strong>是一位有影响力的希腊哲学家，公元前427年出生于希腊<strong>雅典</strong>。<br>句子2：<strong>雅典</strong>旧城门遗址，这里埋葬着伟大的索伦和伯利克里，<strong>柏拉图</strong>学园也在此处，雅典的民主让<strong>柏拉图</strong>无限悲愤了。<br>句子3：公元前387年，<strong>柏拉图</strong>在<strong>雅典</strong>创办学园，收徒讲学，培养了包括亚里士多德等一大批学生。<br>句子4：<strong>柏拉图</strong>出生于<strong>雅典</strong>贵族家庭，母亲出身于名门望族。  </p>
</blockquote>
<p>基于远程监督学习假设，上面的四个句子都被自动打上了“出生地”的关系标签，这四句构成了表达&lt;柏拉图，雅典&gt;之间的“出生地”关系的句子集合（通常被称为句袋，Bag of Sentence）。 </p>
<p>基于远程监督学习构造自动训练集会引入很多噪声，即很多没有表达目标关系的句子会被错误地标注为该关系。例如前面例子的句子2和句子3中虽然提及了柏拉图与雅典，但并不是在表达二者之间的“出生地”关系。<strong>如何降低噪声对模型的影响是远程监督学习关系抽取的重要研究问题之一</strong>。  </p>
<p>现有缓解远程监督噪声问题的策略可以分为以下三种：<br>（1）一些方法采取多实例学习：将具有相同实体对的句子组合起来，然后从中选择信息量大的实例。有一些工作利用图模型去推断含有信息量多的句子，另外一些工作选择简单的启发式的选择策略，还有一些工作涉及了注意力机制去强调了实例中的信息量。<br>（2）引入额外上下文信息：例如利用KG作为外部信息去知道实例的选择，或者采用多语种语料库实现信息的一致性和互补性。<br>（3）使用完善的机制和训练策略：例如结合不同的结构和训练策略去构建一个级联的框架；或使用软标签方案（通过在训练期间更改不确定的标签）；或者采用强化学习策略。</p>
<h2 id="4-2-更高效的学习能力"><a href="#4-2-更高效的学习能力" class="headerlink" title="4.2 更高效的学习能力"></a>4.2 更高效的学习能力</h2><p>现实世界的关系分布服从长尾分布，只有常见的关系类型有充足的训练数据，大部分关系都没有过多的训练数据，很多关系的训练数据甚至少于10条，few-shot learning只需要几个训练例子，就可以集中于抓取任务，非常适合这种需要。为了推进这一领域，现在有一些公开的数据集，例如FewRel。FewRel论文工作初步尝试了几个代表性少次学习方法包括度量学习（Metric learning）、元学习（Meta learning）、参数预测（Parameter prediction）等，评测表明即使是效果最佳的原型网络（Prototypical Networks）模型，在少次关系抽取上的性能仍与人类表现相去甚远。  </p>
<p>few-shot模型的基本思想是训练实例的良好表示或从现有的大规模数据中学习快速适应的方法，然后转移到新的任务中。有两种主要的方法去处理few-shot learning：<br>（1）Metric Learning（度量学习）：学习现有数据的语义度量，并通过与训练示例的比较对查询进行分类。而大多数度量学习模型在句子级表示上利用距离度量，或者标记级注意力机制进行更细粒度的比较。<br>（2）Meta Learning（元学习）：通过对元训练数据（meta-train data）的经验，掌握参数初始化和优化的方法。  </p>
<h2 id="4-3-更复杂的文本语境"><a href="#4-3-更复杂的文本语境" class="headerlink" title="4.3 更复杂的文本语境"></a>4.3 更复杂的文本语境</h2><p>而在实际场景中，大量的实体间关系是通过多个句子表达的，为了实现多个实体间的跨句关系抽取，需要对文档中的多个句子进行阅读推理，这显然超出了句子级关系抽取方法的能力范围。因此，进行文档级关系抽取势在必行。</p>
<h2 id="4-4-更开放的关系类型"><a href="#4-4-更开放的关系类型" class="headerlink" title="4.4 更开放的关系类型"></a>4.4 更开放的关系类型</h2><p>现有关系抽取工作一般假设有预先定义好的封闭关系集合，将任务转换为关系分类问题。然而在开放域的真实关系抽取场景中，文本中包含大量开放的实体关系，关系种类繁多，而且关系数量也会不断增长，远超过人为定义的关系种类数量。在这种情况下，传统关系分类模型无法有效获取文本中蕴含的实体间的新型关系。如何利用深度学习模型自动发现实体间的新型关系，实现开放关系抽取，仍然是一个”开放“问题。</p>
<h1 id="5-其他挑战"><a href="#5-其他挑战" class="headerlink" title="5.其他挑战"></a>5.其他挑战</h1><h2 id="5-1-从文本或名字中学习"><a href="#5-1-从文本或名字中学习" class="headerlink" title="5.1 从文本或名字中学习"></a>5.1 从文本或名字中学习</h2><p>在关系抽取的过程当中，实体名及其上下文都为关系分类提供了非常有用的信息，实体名称提供了类别信息，例如我们可以很容易得到“西安咸阳国际机场”是一个机场的结论，该结论或许可以帮助我们缩小关系分类的范围。在训练阶段，一个实体的类别embedding或许可以帮助我们去分类实体。另一方面，我们经常通过实体对的上下文语义信息当中抽取关系，在一些情况下，关系可以由这些上下文语义信息中推理得到。<br>我们人类本身去做关系分类问题的时候，主要会根据文本描述来将关系进行分类，然而模型则主要学习它们的命名。</p>
<h2 id="5-2-面向特殊兴趣的关系抽取数据集"><a href="#5-2-面向特殊兴趣的关系抽取数据集" class="headerlink" title="5.2 面向特殊兴趣的关系抽取数据集"></a>5.2 面向特殊兴趣的关系抽取数据集</h2><p>虽然现在有很多公开的数据集，但几乎没有针对感兴趣的特殊问题的数据集。例如两个实体在不同句子当中的关系抽取，这是一个非常重要的问题，但现在都没有一个数据集。</p>

            </div>

            <!-- Post Comments -->
            

        </div>
        <!-- Copyright 版权 start -->
                <div id="copyright">
            <ul>
                <li>&copy;2020 北望你的安. 版权所有</li>
            </ul>
            
                <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次，</span>
				<span id="busuanzi_container_site_uv"> 访客数 <span id="busuanzi_value_site_uv"></span> 人. </span>
			
			<br>
			<span>友情链接：<a href='http://www.demilab.cn' target='_blank'>DEMI实验室</a>&nbsp;&nbsp;&nbsp;<a href='http://zd11024.cn/' target='_blank'>ZD</a></span>
        </div>
    </div>
</body>



 	
</html>
